三：Softmax 函数

一 . 概述

它能将一个含任意实数的K维向量 z “压缩”到另一个K维实向量 $\sigma (z)$中，使得每一个元素的范围都在(0, 1)之间，并且所有元素的和为1(也可视为一个 (k-1)维的hyperplan，因为总和为1，所以是subspace)。

$$\sigma(z)_{j} = \frac{e^{zj}}{\sum_{k=1}^{K}e^{z}k} \quad for\ j = 1 ... k$$

二 . 实现代码

import numpy as np

l = np.array([-1, 0, 1])

def softmax(l):
    exp = np.exp(l)
    return np.divide(exp, exp.sum())

softmax(l)